“流式处理”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3888636个，建议您升级VIP下载更多相关专利

[发明专利]流式数据处理方法、规则插件、流式数据处理模块及系统-CN202111405082.4在审
发明人：董一博 -专利权人：青岛海尔科技有限公司;海尔智家股份有限公司
申请日： 2021-11-24 - 公布日： 2022-04-01 - 主分类号： G06F16/2455 文献下载
摘要：本发明提供一种流式数据处理方法、规则插件、流式数据处理模块及系统，该方法包括：响应于流式数据处理模块的触发，获取待处理流式数据对应的原始业务规则；基于待处理流式数据的数据源类型，对原始业务规则进行解析，获取与待处理流式数据的数据源类型匹配的目标业务规则，以使得流式数据处理模块基于目标业务规则，对待处理流式数据进行处理。本发明提供的流式数据处理方法、规则插件、流式数据处理模块及系统，能基于与流式数据处理模块无缝集成的规则插件，在进行流式数据处理时实现不同语言的业务规则的动态加载，能实现远程调用或跨平台调用业务规则，能更灵活、更高效和更简单的实现业务规则的动态加载，能提高海量流式数据的处理效率。
数据处理方法规则插件模块系统

[发明专利]流式数据处理方法、装置、设备及存储介质-CN202310673453.X在审
发明人：滕海燕;温源;姜辉;乔新亚;石权;郑子初;赵健 -专利权人：中国联合网络通信集团有限公司;联通数字科技有限公司;联通云数据有限公司
申请日： 2023-06-07 - 公布日： 2023-09-08 - 主分类号： G06F16/2455 文献下载
摘要：本申请提供一种流式数据处理方法、装置、设备及存储介质。该方法包括：接收流式处理平台发送的流式数据、流式数据的标签、以及流式数据的时间信息；根据流式数据的标签，从历史流式数据库中确定历史流式数据表；根据历史时间信息和时间信息，将历史流式数据表中的目标历史流式数据更新为流式数据，得到更新历史流式数据表；确定更新历史流式数据表中流式数据的第一数据量和历史流式数据的第二数据量；根据流式数据的标签，确定与标签对应的数据处理规则；根据数据处理规则、更新历史流式数据表中的流式数据和历史流式数据，得到处理结果。本申请的方法，提高了对流式数据进行处理的效果。
数据处理方法装置设备存储介质

[发明专利]用于分配流式数据的方法及装置-CN201910435829.7有效
发明人：吕赛霞;翟毅腾;马鸣;欧阳威;周扬;吴彦伦 -专利权人：创新先进技术有限公司
申请日： 2019-05-23 - 公布日： 2023-02-28 - 主分类号： G06F9/50 文献下载
摘要：本公开提供用于分配流式数据的方法及装置。该方法包括：获取各个流式数据处理资源的当前健康度、在前健康度和当前成功量；针对各个流式数据处理资源，基于该流式数据处理资源的当前健康度和在前健康度，确定该流式数据处理资源的当前负载预期变化量；基于各个流式数据处理资源的当前成功量以及当前负载预期变化量，确定所述各个流式数据处理资源的当前负载预期量；基于所述各个流式数据处理资源的当前负载预期量，确定各个流式数据处理资源的第一数据分配概率；以及根据所述第一数据分配概率将所述流式数据分配给所述各个流式数据处理资源中的对应流式数据处理资源
用于分配数据方法装置

[发明专利]流式数据的处理方法、装置及系统-CN202211223234.3在审
发明人：刘洋;张国彪;王萌;王洪昆;边志宏;王蒙;丁颖;焦杨;马瑞峰;徐建喜 -专利权人：国能铁路装备有限责任公司
申请日： 2022-10-08 - 公布日： 2023-03-07 - 主分类号： G06F16/22 文献下载
摘要：本发明涉及数据处理领域，提供一种流式数据的处理方法、装置及系统，方法包括：接收数据平台上传的流式数据；对流式数据中的关键信息进行识别，并基于预设的关联关系确定流式数据对应的处理算法；其中，关联关系用于表征流式数据中的关键信息与处理算法的对应关系；通过处理算法确定流式数据中的有效数据，并对有效数据进行存储。由于在流式数据的数据处理过程中，可以通过处理算法对流式数据做分析处理，且仅对有效数据进行存储，相比于现有的流式数据处理方式，数据处理功能更加完善，且数据处理效率更高，解决了现有的流式数据处理过程不具备数据分析功能、数据处理效率低的问题。
数据处理方法装置系统

[发明专利]支持迭代计算的流式数据处理单元及系统-CN201510664968.9有效
发明人：林学练;申阳;王家兴;马帅 -专利权人：北京航空航天大学
申请日： 2015-10-15 - 公布日： 2019-02-01 - 主分类号： G06F9/50 文献下载
摘要：本发明提供一种支持迭代计算的流式数据处理单元及系统。该处理单元包括：至少一个输入适配和多个处理节点，处理节点包括流式算子和迭代式算子，输入适配与流式算子或迭代式算子之间通过有向边连接，流式算子与迭代式算子或流式算子之间通过有向边连接。本发明提供的支持迭代计算的流式数据处理单元及系统，可实现流式数据处理中的基本的迭代计算需求，解决了流式数据处理中的迭代计算问题。
支持计算数据处理模型系统

[发明专利]多场景流式数据处理方法、系统、网络设备和存储介质-CN202210708889.3有效
发明人：王俊月;刘鑫;李盟 -专利权人：云账户技术（天津）有限公司
申请日： 2022-06-22 - 公布日： 2022-09-02 - 主分类号： G06F16/2453 文献下载
摘要：本申请提供一种多场景流式数据处理方法、系统、网络设备和存储介质，属于计算机技术领域。本申请实施例提供的多场景流式数据处理方法，包括获取目标应用的原始流式数据；根据场景类型，从所述原始流式数据中提取所述场景类型对应的流式数据；获取所述场景类型对应的数据处理规则，所述数据处理规则用于确定成对的流式数据；根据所述数据处理规则，获取所述场景类型对应的流式数据中的成对的流式数据；将获取到的成对的流式数据存储至数据库；通过上述方法实现了对目标应用在多场景下的流式数据获取，并按各个场景的数据处理规则获取承兑的流式数据后，将所有成对的流式数据存入同一数据库中，实现了支持多场景流式数据的处理。
场景数据处理方法系统网络设备存储介质

[发明专利]多数据流处理方法、装置、计算机设备和存储介质-CN202010825699.0有效
发明人：吴金迎;杨大为;郭瑞敏;钱津津;司孝波 -专利权人：苏宁云计算有限公司
申请日： 2020-08-17 - 公布日： 2022-11-15 - 主分类号： G06F16/22 文献下载
摘要：本申请涉及一种多数据流处理方法、装置、计算机设备和存储介质。所述方法包括：持续接收来自流处理平台的第一流式数据和第二流式数据；接收到对应有第二流式数据的第一流式数据后，若确定与其对应的第二流式数据已全接收到，对第一流式数据及其对应的第二流式数据进行关联处理，在关联处理后得到的关联数据满足预设条件时，将第一流式数据存入数据库；接收到第二流式数据后，若确定与其对应的目标第一流式数据已接收到，且与目标第一流式数据对应的第二流式数据已全接收到，对目标第一流式数据及其对应的第二流式数据进行关联处理，在关联处理后得到的关联数据满足预设条件时，将目标第一流式数据存入数据库，能更实时地处理多实时数据流。
多数处理方法装置计算机设备存储介质

[发明专利]一种多源流式大数据融合汇聚处理框架模型实现方法-CN201911395133.2有效
发明人：俞鹏飞;冯磊;李芝权;杨永刚 -专利权人：电信科学技术第五研究所有限公司
申请日： 2019-12-30 - 公布日： 2023-05-26 - 主分类号： G06F16/25 文献下载
摘要：本发明公开了一种多源流式大数据融合汇聚处理框架模型实现方法，包括：多源流式数据采集实现方法包括：流式数据采集代理和多源流式数据采集服务，提供汇聚元数据标准，进行流式多源数据采集；多源流式数据融合处理实现方法包括：多源流式数据融合汇聚，提供基于FlinkSpark Stream流式处理引擎，依据汇聚元数据标准，配置采集的流式多源数据融合进行流式数据处理，加工为符合汇聚元数据标准要求的汇聚元数据，进行规整化汇聚元数据标准存储本发明融合大数据处理主流Flink、Sprakstream开源技术组件，解决多源数据融合汇聚处理中的多源数据互补、特征算子化加工、汇聚元数据标准化、流式目标数据匹配。
一种源流数据融合汇聚处理框架模型实现方法

[发明专利]一种流式数据的处理方法和装置-CN201410849709.9有效
发明人：商越;李峰 -专利权人：大唐软件技术股份有限公司
申请日： 2014-12-29 - 公布日： 2020-01-24 - 主分类号： G06F9/48 文献下载
摘要：本发明实施例提供了一种流式数据的处理方法和装置，其中的方法具体包括：针对当前过程拷贝接收流式数据；其中，所述过程拷贝为具备独立运算线程的运算实体；利用所述当前过程拷贝的线程对所述流式数据进行处理；其中，所述线程与所述流式数据的源头一一对应；利用所述当前过程拷贝的线程将处理后的流式数据传递给下一过程拷贝，由下一过程拷贝对所述处理后的流式数据进行处理，直到所述流式数据被最后一个过程拷贝处理完毕。本发明实施例能够对流式数据并发处理，提高处理的效率。
一种数据处理方法装置

[发明专利]基于批处理和流式处理的数据处理架构及数据处理方法-CN201611245710.6在审
发明人：吴贺俊;冯辉 -专利权人：中山大学
申请日： 2016-12-29 - 公布日： 2017-06-20 - 主分类号： G06F9/30 文献下载
摘要：本发明涉及一种基于批处理和流式处理的数据处理架构，包括数据采集模块，从多个数据采集终端中获取采集的实时数据，并将采集的数据传输至批处理模块和流式处理模块；批处理模块，对接收的实时数据进行持久化处理，采用重计算的机制对经持久化处理的实时数据进行批量处理，根据处理的结果生成不同粒度的批处理视图；流式处理模块，用于对接收的实时数据采用增量计算的机制进行流式处理，并根据处理的结果生成不同粒度的流式处理视图；数据合并模块，采用相应的合并策略对批处理视图、流式处理视图进行合并；数据可视化模块，对批处理视图、流式处理视图或合并后的批处理视图、流式处理视图进行展示；资源监控模块，用于对以上模块进行资源监控。
基于批处理处理数据处理架构方法

[发明专利]一种流式数据处理方法、系统及一种电子设备和存储介质-CN201810643575.3在审
发明人：黄明远;刘洪政 -专利权人：马上消费金融股份有限公司
申请日： 2018-06-21 - 公布日： 2020-01-17 - 主分类号： G06F16/2455 文献下载
摘要：本申请公开了一种流式数据处理方法、系统及一种电子设备和存储介质，该方法包括：获取流式数据，并根据匹配规则确定所述流式数据对应的内存中的目标计算模型；根据所述目标计算模型中的处理规则处理所述流式数据，并保存处理结果；判断内存中是否存在到达时间窗口的计算模型，若是，则将所述计算模型对应的处理结果保存至数据库中。本申请提供的流式数据处理方法基于内存的计算模型，在内存接收到流式数据时进行实时计算，确保了流式数据计算的实时性。在面对数据量大、处理规则复杂的流式数据时，将复杂的处理规则预先定义为计算模型，同时利用内存的数据处理能力，实现了计算模型的定义与数据处理的分离，提高了流式数据的处理能力和效率。
流式数据计算模型内存处理规则数据处理目标计算流式数据处理能力保存处理存储介质电子设备匹配规则时间窗口实时计算预先定义实时性数据量申请数据库保存

[发明专利]日切场景的流式数据处理方法及装置-CN202210132708.7在审
发明人：李天浩;雷赛龄;杨小可;孟少川;赵正阳;黄子豪 -专利权人：中国工商银行股份有限公司
申请日： 2022-02-14 - 公布日： 2022-05-13 - 主分类号： G06F11/34 文献下载
摘要：本发明提供了一种日切场景的流式数据处理方法及装置，可用于金融领域或其他领域。所述方法包括：获取流式数据，根据流式数据的驱动系统运算类型，对所述流式数据进行数据分流处理，确定所述流式数据的处理模式；根据所述流式数据的处理模式，确定所述流式数据对应的窗口最迟到达时间；对流式数据对应的窗口最迟到达时间进行窗口聚合运算，生成运算结果，并对运算结果进行数据发送处理。本发明通过对日切场景的流式数据进行分流处理，解决了日切场景下长时间数据乱序问题，提高了实时数据处理的准确性，提升了数据的时效性，可用性，具有极大的实践操作价值。
场景数据处理方法装置

[发明专利]海量流式数据的处理方法及装置-CN202010119786.4在审
发明人：杨辰;瞿鹏憧;陈第 -专利权人：有米科技股份有限公司
申请日： 2020-02-26 - 公布日： 2020-07-14 - 主分类号： G06F16/2455 文献下载
摘要：本发明公开了海量流式数据的处理方法及装置，包括：识别流式数据的类型，并将流式数据编码存储至与流式数据的类型相匹配的目标队列；读取目标队列中的待处理数据，并解码待处理数据得到待处理数据的属性数据集合，属性数据集合包括至少一个属性数据；对属性数据集合中的属性数据进行归一化处理得到抽象后的数据；调用预先确定出的数据处理任务处理抽象后的数据，得到处理后的数据。可见，实施本发明能够在获取到或监测到海量流式数据时，将海量流式数据分别编码压缩保存到相应的队列中，减少或避免流式数据猛增对数据处理系统造成的冲击，能够便于数据处理系统及时、准确的对流式数据进行处理，提高了对海量流式数据处理的实时性与准确性
海量数据处理方法装置

[发明专利]数据的流式处理方法、装置及分布式文件系统HDFS-CN201910063136.X在审
发明人：冶秀刚 -专利权人：阿里巴巴集团控股有限公司
申请日： 2019-01-23 - 公布日： 2019-07-23 - 主分类号： G06F16/14 文献下载
摘要：本说明书一个或多个实施例公开了一种数据的流式处理方法、装置及分布式文件系统HDFS，用以实现基于HDFS体系的高时效流式数据处理服务。所述方法应用于分布式文件系统HDFS，包括：接收客户端发送的针对指定文件的数据流式处理任务；其中，所述数据流式处理任务包括所述指定文件对应的流式处理逻辑；基于所述数据流式处理任务，接收所述客户端发送的单位数据；及，将所述单位数据存储至所述指定文件中；监测所述单位数据是否成功存储至所述指定文件中；若是，则按照所述流式处理逻辑对所述单位数据执行相应的流式处理，得到处理结果。
流式处理单位数据指定文件分布式文件系统数据流存储发送数据处理服务接收客户端高时效客户端流式监测成功

[发明专利]一种基于流式处理的物联网设备通信方法-CN202210194977.6在审
发明人：王鹏;张伟杰;费晨杰;姜凌青;陈树 -专利权人：中节能晶和智慧城市科技（浙江）有限公司
申请日： 2022-03-02 - 公布日： 2022-03-29 - 主分类号： H04L67/12 文献下载
摘要：本发明提供了一种基于流式处理的物联网设备通信方法，包括：获取待接入设备和物联网平台的通信配置参数；设置包含至少一个流式处理节点的流式处理引擎网关，基于获取的通信配置参数配置所述流式处理节点的输入端和输出端，以及所述流式处理结点的流处理逻辑；配置待接入设备的通信参数，所述通信参数与该设备对应的流式处理节点的输入端相适配；所述流式处理引擎网关内部的对应流式处理节点对待接入设备上报的消息进行处理后上报至物联网平台，或者对物联网平台下发的消息进行处理后输出至待接入设备。该方法能够在提高物联网平台网关处理消息的高效性和实时性的同时能够支持设备与平台以及设备间跨协议的双向通信。
一种基于处理联网设备通信方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条